| 1. Identificação | ||||||||||
| Tipo de Referência | Tese ou Dissertação (Thesis) | |||||||||
| Site | mtc-m21d.sid.inpe.br | |||||||||
| Código do Detentor | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||||||||
| Identificador | 8JMKD3MGP3W34T/4ADRCA2 | |||||||||
| Repositório | sid.inpe.br/mtc-m21d/2023/12.21.15.45 | |||||||||
| Última Atualização | 2024:04.01.12.07.40 (UTC) simone | |||||||||
| Repositório de Metadados | sid.inpe.br/mtc-m21d/2023/12.21.15.45.36 | |||||||||
| Última Atualização dos Metadados | 2024:04.04.08.39.23 (UTC) administrator | |||||||||
| Chave Secundária | INPE-18798-TDI/3401 | |||||||||
| Chave de Citação | Rodrigues:2024:MaLeHa | |||||||||
| Título | Machine learning e hashing para identificação de imagens de sensoriamento remoto baseada em conteúdo  | |||||||||
| Título Alternativo | Machine learning and hashing for content-based image retrieval (CBIR) of remote sensing images | |||||||||
| Curso | CAP-COMP-DIPGR-INPE-MCTI-GOV-BR | |||||||||
| Ano | 2024 | |||||||||
| Data | 2023-12-15 | |||||||||
| Data de Acesso | 27 abr. 2024 | |||||||||
| Tipo da Tese | Tese (Doutorado em Computação Aplicada) | |||||||||
| Tipo Secundário | TDI | |||||||||
| Número de Páginas | 106 | |||||||||
| Número de Arquivos | 2 | |||||||||
| Tamanho | 25746 KiB | |||||||||
| 2. Contextualização | ||||||||||
| Autor | Rodrigues, Marcos Lima | |||||||||
| Banca | Gomes, Karine Reis Ferreira (presidente) Körting, Thales Sehn (orientador) Queiroz, Gilberto Ribeiro de (orientador) Negri, Rogério Galante Noma, Alexandre | |||||||||
| Endereço de e-Mail | marcos.mlr@gmail.com | |||||||||
| Universidade | Instituto Nacional de Pesquisas Espaciais (INPE) | |||||||||
| Cidade | São José dos Campos | |||||||||
| Histórico (UTC) | 2023-12-21 15:47:41 :: marcos.rodrigues@inpe.br -> administrator :: 2023-12-26 12:50:37 :: administrator -> pubtc@inpe.br :: 2023-12-26 12:54:04 :: pubtc@inpe.br -> marcos.rodrigues@inpe.br :: 2024-01-30 18:22:42 :: marcos.rodrigues@inpe.br -> administrator :: 2024-03-28 19:56:25 :: administrator -> pubtc@inpe.br :: 2024-04-01 14:22:09 :: pubtc@inpe.br -> simone :: 2024-04-01 14:22:35 :: simone :: -> 2024 2024-04-01 14:23:50 :: simone -> administrator :: 2024 2024-04-04 08:39:23 :: administrator -> :: 2024 | |||||||||
| 3. Conteúdo e estrutura | ||||||||||
| É a matriz ou uma cópia? | é a matriz | |||||||||
| Estágio do Conteúdo | concluido | |||||||||
| Transferível | 1 | |||||||||
| Palavras-Chave | recuperação de imagens baseada em conteúdo redes neurais convolucionais euroSAT uso e cobertura da terra Cerrado content-based image retrieval (CBIR) deep hashing neural network (DHNN) euroSAT land use and land cover (LULC) the brazilian savanna (Cerrado) | |||||||||
| Resumo | Neste trabalho é apresentado o desenvolvimento de uma solução (framework) para busca e recuperação de imagens de satélite baseadas em conteúdo, com potencial para aplicação no escopo de grandes conjuntos de dados. A área de sensoriamento remoto (SR) para observação da Terra tem experimentado um grande desenvolvimento na última década, dando origem a era do Remote Sensing Big Data (RSBD), tornando desafiadora a tarefa de recuperar imagens úteis nesse grande volume de dados, por exemplo, que possam ser usadas para estudos de uso e cobertura da terra no Cerrado brasileiro. Nesse contexto, o desenvolvimento de sistemas baseados em Content-Based Image Retrieval (CBIR) apoiado por métodos de Deep Learning como as Convolutional Neural Networks (CNNs), têm sido empregados com sucesso a dados multifontes e multiespectrais (MS). As arquiteturas Deep Hashing Neural Networks (DHNNs) empregam CNNs para extração de atributos de imagens e conversão desses atributos em códigos binários (hash codes) para criação de um espaço métrico otimizado para CBIR no escopo do RSBD. A Metric-Learning-Based Deep Hashing Network (MiLaN) representa o estado da arte desse tipo de arquitetura, baseada na combinação de três funções de perda que permitem o aprendizado de um espaço métrico ideal para a recuperação de imagens baseada em conteúdo (Semantic- Based Metric Space). Originalmente a rede MiLaN adotou como módulo de extração de características das imagens (backbone) a rede Inception V3 pré-treinada com dados fora do domínio do SR (ImageNet), isso implica em limitações devido a diferenças típicas entre as imagens como a resolução espacial e influência da atmosfera nas imagens orbitais. O framework proposto possibilitou avanços em relação à abordagem original da MiLaN ao adotar um novo backbone baseado na ResNet-50 e realizar o processo de ajuste dessas arquiteturas (MiLaN+ResNet-50) através do fine-tuning baseado em imagens satelitais MS. Esta afirmação é evidenciada pelos resultados expressivos alcançados para tarefa CBIR medidos através da métrica mean Average Precision - mAP, o desempenho global baseado nas 100 primeiras imagens recuperadas (mAP@100) foi de 99,8873% para o conjunto EuroSAT MS (Sentinel 2 - 13 bandas). De maneira particular foi demonstrado que os dados MS fornecem informações semânticas de qualidade durante o processo de extração de características usando a ResNet-50, contribuindo assim para correção de erros em relação à discriminação de imagens que apresentam padrões geométricos (Áreas Industriais/Residenciais) e de textura (Floresta, Pastagem e Culturas Permanente) similares quando utilizado somente as bandas RGB das imagens de média resolução do conjunto EuroSAT. O desempenho para o conjunto EuroSAT MS superou o apresentado por outros métodos do estado da arte para realização de CBIR, inclusive utilizando imagens aéreas de alta resolução espacial do conjunto Aerial Image Dataset (AID). ABSTRACT: This work presents the development of a framework for searching and retrieving content-based satellite images, with potential for application in the scope of large datasets. The area of remote sensing (RS) for Earth observation has experienced great development in the last decade, giving rise to the era of Remote Sensing Big Data (RSBD), making the task of retrieving useful images from this large volume of data challenging, for example, that can be used for studies of land use and land cover in the Brazilian Cerrado. In this context, the development of systems based on Content-Based Image Retrieval (CBIR) supported by Deep Learning methods such as Convolutional Neural Networks (CNNs), have been successfully applied to multisource and multispectral (MS) data. Deep Hashing Neural Networks (DHNNs) architectures employ CNNs to extract image attributes and convert these attributes into binary codes (hash codes) to create a metric space optimized for CBIR within the scope of RSBD. The Metric-Learning-Based Deep Hashing Network (MiLaN) represents the state of the art of this type of architecture, based on the combination of three loss functions that allow the learning of a space ideal metric for CBIR (Semantic-Based Metric Space). Originally, the MiLaN network adopted the Inception V3 network pre-trained with data outside the RS domain (ImageNet) as an image feature extraction module (backbone), this implies limitations due to typical differences between images such as the spatial resolution and influence of the atmosphere on orbital images. The proposed framework enabled advances in the original MiLaN approach by adopting a new backbone based on ResNet-50 and carrying out the adjustment process of these architectures (MiLaN+ResNet-50) through fine-tuning based on MS satellite images. This statement is evidenced by the expressive results achieved for the CBIR task measured using the mean Average Precision (mAP) metric, the global performance based on the top-100 recovered images (mAP@100) was 99.8873% for the set EuroSAT MS (Sentinel 2 - 13 bands). In particular, it was demonstrated that MS data provides quality semantic information during the feature extraction process using ResNet-50, thus contributing to error correction concerning the discrimination of images that present geometric patterns (Industrial/Residential Areas) and texture (Forest, Pasture and Permanent Crops) similar when using only the RGB bands of the medium resolution images from the EuroSAT set. The performance for the EuroSAT MS dataset surpassed that presented by other state-of-the-art methods for carrying out CBIR, including using high spatial resolution aerial images from the Aerial Image Dataset (AID). | |||||||||
| Área | SRE | |||||||||
| Arranjo 1 | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > CAP > Machine learning e... | |||||||||
| Arranjo 2 | urlib.net > BDMCI > Fonds > Produção a partir de 2021 > CGIP > Machine learning e... | |||||||||
| Conteúdo da Pasta doc | acessar | |||||||||
| Conteúdo da Pasta source |
| |||||||||
| Conteúdo da Pasta agreement |
| |||||||||
| 4. Condições de acesso e uso | ||||||||||
| URL dos dados | http://urlib.net/ibi/8JMKD3MGP3W34T/4ADRCA2 | |||||||||
| URL dos dados zipados | http://urlib.net/zip/8JMKD3MGP3W34T/4ADRCA2 | |||||||||
| Idioma | pt | |||||||||
| Arquivo Alvo | publicacao.pdf | |||||||||
| Grupo de Usuários | marcos.rodrigues@inpe.br simone | |||||||||
| Visibilidade | shown | |||||||||
| Licença de Direitos Autorais | urlib.net/www/2012/11.12.15.10 | |||||||||
| Detentor dos Direitos | originalauthor yes | |||||||||
| Permissão de Leitura | allow from all | |||||||||
| Permissão de Atualização | não transferida | |||||||||
| 5. Fontes relacionadas | ||||||||||
| Repositório Espelho | urlib.net/www/2021/06.04.03.40.25 | |||||||||
| Unidades Imediatamente Superiores | 8JMKD3MGPCW/3F2PHGS 8JMKD3MGPCW/46KUES5 | |||||||||
| Acervo Hospedeiro | urlib.net/www/2021/06.04.03.40 | |||||||||
| 6. Notas | ||||||||||
| Campos Vazios | academicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder creatorhistory descriptionlevel dissemination doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||||||||